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(57) Abstract 

The invention relates to a control and observation system, especially for an automation system, formed by at least one control and 
observation system with a performant functionality and a plurality of control and observation tools with limited functionality. The first 
control and observation system with performant functionality is configured as a mobile system thereby eliminating mobility restrictions. 



(57) Zusammenfassung 

Die Erfindung betrifft ein Bedien- und Beobachtungssystem, insbesonderc fUr ein Automatisierungssystem, das aus mindestens 
einem ersten Bedien- und Beobachtungssystem mit einer leistungsfahigen Funktionalitat und aus einer Vielzahl weiteren Bedien- und 
Beobachtungswerkzeugen mit einer eingeschrankten Funktionalitat gebildet wird. Das erste Bedien- und Beobachtungssystem mit der 
leistungsfahigen Funktionalitat ist mobil ausgebildet, wodurch es zu einer Aufhebung von Mobil itatsbeschrankungen kommt. 
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Beschreibung 

Augmented Reality-System mit Einsatz mobiler Gerate 

5 Die Erfindung betrifft ein Augmented-Reality-System. 

Ein derartiges System und Verfahren kommt beispielsweise im 
Bereich der Automatisierungstechnik, bei Produktions- und 
Werkzeugmaschinen, bei Diagnose- /Serviceunterstutzungssyste- 
10 men sowie fur komplexe Komponenten, Gerate und Systeme, wie 

beispielsweise Fahrzeuge und industrielle Maschinen und Anla- 
gen zum Einsatz. 

Der Erfindung liegt die Aufgabe zugrunde, ein System und ein 
15 Verfahren anzugeben, das beim Bedienen-. und Bebbachten insbe- 
sondere eines automatisierungstechnisch gesteuerten Vorrich- 
tung/Anlage/Prozesses eine erhohte Mobilitat erm6glicht. 

Diese Aufgabe wird durch ein System bzw. durch Verfahren mit 
20 den in den Anspriichen 1 bzw. 6 angegebenen Merkmalen gelost. 

Der Erfindung liegt die Erkenntnis zugrunde, date in komplexen 
Anlagen mit raumlich verteilten Einzelkomponenten, aber auch 
in Anwendunsgsituationen wo die Beweglichkeit des Werkers 

25 wichtig ist, die ubliche Verwendung relativ starr installier- 
ter Systeme (z.B. Monitore, Bedienterminals ) zur Visualisie- 
rung und Bedienung, eine deutliche Einschrankung des Hand- 
lungsspielraums darstellt. In der Regel ist der Wer- 
ker/Facharbeiter situationsbedingt gezwungen, seine eigentli- 

30 che Arbeitssituation zu verlassen, urn an anderer Stelle Ein- 
blick in die aktuell relevanten ProzeSdaten zu erhalten Oder 
bestimmte Bedienvorgange vornehmen zu konnen. Mit der Verwen- 
dung mobiler, tragbarer Gerate lassen sich verschiedene Ar- 
beitssituationen benutzergerechter bewerkstelligen . 

35 

Gegebenenf alls erfolgt heutzutage der Einsatz mehrerer Moni- 
tore raumlich verteilt in der Anlage oder konzentriert bei- 
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spielsweise in einer Leitwarte. Der Einsatz von bislang rela- 
tiv starr installierten Systemen zur Visualisierung und Be- 
dienung in der Anwendung, wird wie folgt ersetzt durch neuar- 
tige Gerate, die anwendungsgerecht in ^Combination eingesetzt 
5 werden : Vor Ort, d.h. lokal an der Maschine/ Anlagenkomponen- 
te, kommen mehrere „ Einf achstgerate" zum Einsatz, die anwen- 
dungsgerecht spezialisiert sind. 

Die vollstandige Funktionalitat zur anwendungsumf assenden Vi- 
10 sualisierung und Bedienung, wird mittels leistungsf ahigen Be- 
dieneinheiten, die mobil eingesetzt werden konnen, bereitge- 
stellt. Der wesentliche Vorteil liegt in der Aufhebung der 
Mobilitatseinschrankung des Werkers . Daruberhinaus kommen 
neuartige Interaktionstechniken zur Verwendung . . . multimodal 
15 (Sprache, Gestik, ...). Die Bindung an fixe Terminals wird 
durch mobile Gerate ersetzt und es kommt zu einer Ablosung 
/Erganzung der Maschinentaf el durch eine Datenbrille oder zu- 
mindest zu einem kombinierten Einsatz mit lokalen Terminals. 

20 Vorteilhafte Ausgestaltungen bestehen darin, daS die Dokumen- 
tationsdaten statische und/oder dynamische Inf ormationsdaten 
sind. Beispiele fur derartige statische Informationen sind 
technische Daten aus Handbuchern, Exp losionszei chnungen , War- 
tungsanweisungen etc.. Beispiele fur dynamische Informationen 

25 sind ProzeSwerte wie Temperatur, Druck, Signale etc. 

Ein schneller si tuationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstutzt, daS die Erfassungs- 
mittel eine Bildauf nahmevorrichtung aufweisen, da£ die Aus- 
3 0 wertemittel zur Auswertung der realen Information in der Wei- 
se vorgesehen sind, da£ aus der realen Information ein 
Eisatzkontext , insbesondere ein Objekt der Dokumentationsda- 
ten ermittelt wird und daS das System Visualisierungsmittel 
zur Visualisierung der Dokumentationsdaten aufweist. 

35 

Ein schneller si tuationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstutzt, da£ die Erfassungs- 



WO 00/52540 



PCT/DEOO/00667 



rnittel anwendergesteuert sind und insbesondere als sprachge- 
steuerte Erf assungsmittel und/oder durch Steuerdaten gesteu- 
erte Erf assungsmittel ausgebildet sind. 

5 Ein fur viele Anwendungsf alle optimaler Einsatz von Augmen- 
ted-Reality-Techniken auf Basis der statischen und/oder dyna- 
mischen Dokumentations- und/oder ProzeSdaten kann in der Wei- 
se erfolgen, da£ die Erf assungsmittel und/oder die Visuali- 
sierungsmittel als Datenbrille ausgebildet sind. 

0 

Im folgenden wird die Erfindung anhand der in den Figuren 
dargestellten Ausf iihrungsbeispiele naher beschrieben und er- 
lautert . 



15 Es zeigen: 

FIG 1 ein Blockschal tbild eines ersten Ausf iihrungsbei- 

spiels eines Augmented-Reality-Systems, 

20 FIG 2 ein weiteres Blockschaltbild eines Ausf iihrungsbei- 

spiels eines Augmented-Reality-Systems und 

FIG 3 ein Anwendungsbeispiel fur einen si tuationsgerech- 

ten Zugrif f auf Expertenwissen und/oder Dokumenta- 
25 tionsdaten. 

Figur 1 zeigt eine Prinzipdarstellung eines Augmented- 
Reality-Systems zur Ubertragung von ersten Inf ormationsdaten 
von einem ersten Ort Ol an einen entfernten zweiten Ort 02 

3 0 eines Experten fur eine Unterstiitzung eines Anwenders am er- 
sten Ort Ol beispielsweise im Service- und/oder Reparaturf all 
durch den entfernten Experten am zweiten Ort. Der Anwender, 
der in Figur 1 nicht explizit dargestellt ist, ist mit mobi- 
len Geraten 4, 6 ausgestattet . Die mobilen Gerate 4, 6 bein- 

3 5 halten eine Datenbrille 4, an der eine Videokamera 2 sowie 

ein Mikrofon 11 angeordnet ist. Die Datenbrille ist mit einer 
Einrichtung zur drahtlosen Kommunikation, beispielsweise ei- 
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ner Funk-Sende-Empf angsvorrichtung 6 gekoppelt, die uber eine 
Funkschnittstelle 15 mit dem Automatisierungssystem Al..An 
kommunizieren kann. Das Automatisierungssystem Al..An ist 
uber eine Datenverbindung 14 mit einem Augmented-Reality- 
5 System 10 koppelbar, welches im folgenden auch abklirzend als 
AR-System bezeichnet wird. Das AR-System en thai t ein Informa- 
tionsmodul lb zur Speicherung bzw. zum Zugriff von bzw. auf 
Informationsdaten, ein AR-Basismodul 8 sowie ein AR- 
Anwendungsmodul 9. Das AR-System 10 ist uber eine Datenver- 
10 bindung 13 mit dem Internet 5 verbindbar, wobei uber eine 

beispielhaft dargestellte Internetverbindung 12 ein Zugriff 
auf weitere Speicher- und Dokumentationsdaten la moglich ist. 

Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- 

15 Sende-Einrichtung 7 ausgestattet ist, ist in der Lage, sich 
fur Wartungs- und Servicezwecke in der Anlage Al..An frei zu 
bewegen. Ist beispielsweise die Wartung oder Reparatur einer 
bestimmten Teilkomponente der Anlagen Al..An er f orderlich, so 
wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenf alls 

20 gesteuert durch Sprachkommandos , die vom Mikrofon 11 erfaSt 
werden, ein entsprechender Zugang zu den relevanten Dokumen- 
tationsdaten la, lb hergestellt. Hierzu wird uber die Funk- 
schnittstelle 15 eine Datenverbindung zur Anlage Al..An oder 
einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten 

25 an das AR-System 10 ubermittelt. Im AR-System erfolgt eine 

situationsgerechte Auswertung der vom Anwender erhaltenen Da- 
ten und ein automat ischer oder auch ein interaktiv vom Anwen- 
der gesteuerter Zugriff auf Inf oramtionsdaten la, lb. Die er- 
mittelten relevanten Dokumentationsdaten la, lb, werden uber 

30 die Datenverbindungen 14, 15 an die Funk-Sende-Einrichtung 6 
ubermittelt und insgesamt erfolgt auf Basis der erfaSten Ar- 
beitssituation somit eine Analyse, die Grundlage fur die Aus- 
wahl von Daten aus der vorliegenden statischen Information 
ist. Hierdurch ergibt sich eine situationsgerechte, objekt- 

35 orientierte bzw. bauteilorientierte Auswahl relevanten Wis- 

sens aus den aktuellsten Datenquellen la, lb. Die Anzeige der 
Information erfolgt mit Hilfe der jeweils verwendeten Visua- 
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1 i s i erungskomponent e , beispielsweise einem Handheld- PC oder 
einer Datenbrille . Von AR-basierten Technologien gesprochen 
wird. Der Anwender vor Ort wird somit lediglich mit der In- 
formation versorgt, die er braucht . Diese Information befin- 
5 det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 
niker wird beispielsweise nicht durch ein "100 Seiten-Manual " 
mit Inf ormationen iiberf rachtet . 

Figur 2 zeigt ein weiteres . Anwendungsbeispiel eines Systems 

10 zur Dokumentationsverarbeitung fur Service und Wartung . Das 

System besteht aus einem Augmented-Reali ty-System 10, welches 
ein Inf ormationsmodul lb zur Speicherung von Inf ormationsda- 
ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9 ent- 
halt. Das AR-System 10 ist iiber Bindungsleitungen 13, 18 ans 

15 Internet 5 ankoppelbar. Von dort besteht iiber eine beispiel- 
hafte Datenverbindung 12 eine Verbindungsmoglichkeit zu einem 
entfernten PC 16 mit einem entfernten Experten 22. Die Kopp- 
lung zwischen den einzelnen Modulen des AR-Systems 10 erfolgt 
iiber Verbindungen 19, 20, 21. Die Anwender kommuni kat i on zwi- 

20 schen einem Anwender 7 und dem .AR-System erfolgt liber 

Schnittstellen 8, 23. Hierzu ist das AR-System mit einer Sen- 
de-Empf angs-Vorrichtung koppelbar, die eine bidirektionale 
Datenkommunikation zwischen dem AR-System 10 und dem Anwender 
7 iiber eine Datenbrille 4 entweder direkt iiber die Schnitt- 

2 5 s telle 8 oder iiber ein im Bereich des Anwenders 7 angeordnete 
Funk-Sende-Empf angseinrichtung 17 iiber eine Schnittstelle 23 
ermoglicht. Die Verbindung 23 kann iiber eine separate Daten- 
verbindung oder iiber das Stromnetz als " Power-Line " -Modem 
realisiert werden. Die Datenbrille 4 enthalt neben einer im 

30 Bereich der Brillenglaser angeordneten Anzeigevorrichtung ei- 
ne Bilderf assungsvorrichtung 2 in Form einer Kamera sowie ein 
Mikrofon 11. Der Anwender 7 kann sich mit Hilfe der Daten- 
brille 4 im Bereich der Anlagen Al..An bewegen und Service- 
oder Wartungsarbeiten durchfiihren. 

35 

Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- 
Sende-Empf angsvorrichtungen, beispielsweise der Funk-Sende- 
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Empfangsvorrichtung 17, die vom Personal direkt am Korper ge- 
tragen wird, ist es moglich vorbeugende Funktionali tat zu er- 
reichen: Zunachst erfolgt die Erfassung der jeweiligen Ar- 
beitssituation, beispielsweise durch die Kamera 2 oder durch 
5 Lokalisierung durch das Personal 7. Auf Basis der erfaSten 

Arbeitsssi tuation erfolgt im AR-System eine Auswahl von Daten 
gewarteten Anlage Al..An. Der grundlegende Vorteil des in Fi- 
gur 3 dargestellten Systems besteht darin, da£ dieses System 
das Zusammenwirken der einzelnen Einzelf unktionalitaten an- : 

10 wendungsgerecht unterstutzt: So wird zunachst eine konkrete 
Arbeitssi tuation automatisch erfagt, diese Arbeitssituation 
anschlieSend analysiert, wobei aus der aktuellsten, vorlie- 
genden statischen Information in Kombination mit den augen- 
blicklich er fasten dynamischen Daten automatisch die gerade 

15 relevanten Aspekte ermittelt werden. Hierdurch werden bei- 
spielsweise Montagehinweise mit aktuellen ProzeSdaten korre- 
liert. Das Personal 7 erhalt hierdurch eine si tuationsgerech- 
te Anzeige der relevanten Inf ormationen beispielsweise durch 
eine uberlagerte Visual isierung der entsprechenden Daten in 

20 der Weise, daS im Sichtfeld des Personals die reale Arbeits- 
situation urn die ermittelten Inf ormationen erweitert wird. 
Hierdurch wird das Personal 7 in kurzester Zeit handlungsfa- 
hig gemacht und damit notwendige Maschinenlauf zeiten gesi- 
chert. Unterstiitzung kann der Wartungstechniker 7 vor Ort 

2 5 auch uber den entfernten Experten 22 und das am Ort des ent- 
fernten Experten 22 vorliegende Wissen 16 erhalten. 

Figur 3 zeigt ein Anwendungsbeispiel fur einen situationsge- 
rechten Zugriff auf Dokumentationsdaten . Figur 3 zeigt einen 

30 ersten Bildschirmbereich Bl, in dem eine Anlagenkomponente 

dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An- 
wender 7 dargestellt, der beispielsweise eine einzelne Anla- 
genkomponente betrachtet. Der Anwender 7 ist mit einer Daten- 
brille 4 augerlistet, die eine Kamera 2 als Er f assungsmittel 

35 enthalt. An der Datenbrille 4 ist daruber hinaus ein Mikrofon 
11 sowie ein Lautsprecher 16 angeordnet . Im linken Bild- 
schirmbereicht Bl ist ein Blick auf Rohrleitungen darge- 
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stellt, die mit der im Bildfenster B2 dargestell ten Daten- 
brille betrachtet werden konnen . Im linken Bildschirmbereich 
Bl sind zwei Punkte Bl , B2 markiert, die jeweils zwei mit 
Hilfe der Datenbrille 4 betrachtete Bildausschnitte reprasen- 
5 tieren. Nach Betrachtung des ersten Punkts Pi, d.h. nach Be- 
trachtung der im Bereich des Punktes Pi angeordneten Rohrlei- 
tung werden dem Anwender 7 Zusatzinf ormationen in der Daten- 
brille 4 visualisiert . Diese Zusatzinf ormationen 11 bestehen 
aus Dokumentationsdaten, die bezuglich des ersten Punktes PI 

10 Arbeitsanweisungen fur dieses Rohrstuck enthalten und bezug- 
lich des Punktes P2 die in einem zweiten Schritt durchzufuh- 
rende Installationsanweisung beinhalten. Die Installationsan- 
weisung besteht in diesem Fall darin, date dem Anwender 7 das 
Drehmoment und die Drehrichtung der Schraubverbindung des 

15 Punktes P2 iiber die Visualisierung der Zusatzdaten 112 mitge- 
teilt werden. Der Anwender 7 erhalt somit innerhalb klirzester 
Zeit eine situationsgerechte Anweisung fur das betrachtete 
Objekt. Bei der Verwendung eines intelligenten Werkzeugs, 
welches in der Lage ist, das gerade eingesetzte Drehmoment zu 

20 erfassen, ist es weiterhin moglich, daS der Anwender basie- 
rend auf dem aktuellen Drehmoment auch dazu aufgefordert 
wird, daS Drehmoment entsprechend zu erhohen Oder zu verrin- 
gern . 

2 5 Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 

der Erfindung gegeben: Es geht dabei urn eine anwendungsorien- 
tierte Anf orderungsanalyse und Entwicklung von AR-basierten 
Systemen zur Unterstlitzung von Arbeitsprozessen in Entwick- 
lung, Produktion und Service komplexer technischer Produkte 

3 0 und Anlagen in der Fertigungs- und Verf ahrenstechnik, sowie 

fur Systeme zur Serviceunterstlitzung wie bei Kraf tf ahrzeugen 
oder fur die Wartung beliebiger technischer Gerate. 

Augmented Reality, kurz AR, ist eine neue Art der Mensch- 
3 5 Technik-Interaktion mit groSem Potential zur Unterstlitzung 
von industriellen Arbeitsprozessen. Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
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virtuellen Objekten ahgereichert , so da£ Produkt- bzw. Pro- 
zeSinformationen intuitiv genutzt werden konnen. Neben der 
sehr einfachen Interaktion erschlie&t der Einsatz tragbarer 
Computer AR-Anwendungsfelder mit hohen Mobilitatsanf orde- 
5 rungen, wenn beispielsweise Prozefi-, Mefi- oder Simulationsda- 
ten an das reale Objekt geknupft werden. 



Die Situation der deutschen Industrie ist durch steigende 
Kundenanf orderungen an Individualitat und Qualitat der Pro- 

10 dukte sowie durch eine wesentliche Zeitverkiirzung der Entste- 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 
Produktion und Service komplexer technischer Produkte und An- 
lagen konnen mit innovativen Losungen fur die Mensch-Technik- 
Interaktion sowohl Effizienz- und Produktivitatssprunge er- 

15 zielt werden, als auch die Arbeit kompetenz- und lernforderl- 
ich gestaltet werden, indem der Wissens- und Inf ormationsbe- 
darf der Benutzer auf der Basis ohnehin vorliegender Daten 
situationsgerecht unterstiitzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl in- 

2 0 novativer Anwendungsf elder : 

o So kann z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
auf der Grundlage einer gemischt-virtuellen Umgebung die 
fruhen Entwicklungsphasen deutlich beschleunigen . Gegenii- 
ber immersiven, d,h. eintauchenden, ^Virtual Reality"- 
25 (VR) -Losungen besteht fur den Benutzer ein wesentlicher 

Vorteil darin, da& die haptischen Eigenschaf ten mit Hilfe 
eines realen Modells naturgetreu abgebildet werden konnen, 
hingegen Aspekte der visuellen Wahrnehmung, z.B. fur An- 
zeigenvarianten, virtuell manipulierbar sind. Daruber hin- 

3 0 aus besteht ein groSes Potential zur benutzerorientierten 

Validierung rechnergestutzter Modelle, z.B. fur die Bau- 
teilverif ikation oder bei Crash-Tests. 

o In der flexiblen Produktion kann unter anderem das Ein- 
richten von Maschinen fur qualif izierte Facharbeiter we- 
3 5 sentlich erleichtert werden, indem, z.B. durch mobile AR- 

Komponenten, gemischt-virtuelle Spannsituationen direkt im 
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Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 
Fertigungsplanung und Fertigungssteuerung in der Werkstatt 
wird erleichtert, wenn Inf ormationen uber den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehorigen 
5 Produkten vor Ort wahrgenommen werden. Das gleiche gilt 

auch fur die Montage, wobei dem Monteur bereits in der 
Trainingsphase die einzelnen Arbeitsschritte gemischt-vir- 
tuell prasentierbar sind. In diesem Zusammenhang k&nnen, 
z.B. durch den Vergleich realer Montageablauf e mit Simula- 
10 tionsergebnissen, umfassende Optimierungen erreicht wer- 

den, die sowohl die Qualitat der Arbeitsplanung verbessern 
als auch den Montageprozefc in der kritischen Anlaufphase 
vereinfachen und beschleunigen . 

o Letztlich genugen im Service herkommli'che Technologien 
15 kaum mehr , um die komplexen Diagnose- und Behebungsproze- 

duren zu unterstutzen und zu dokumentieren. Da diese Pro- 
zesse in vielen Bereichen aber ohnehin auf Basis von digi- 
talen Daten geplant werden, bieten AR-Technologien die 
Moglichkeit, die Inf ormationsquellen fur die Wartung zu 
2 0 ubernehmen und einem Techniker, z.B. in der Datenbrille, 

durch die Uberlagerung mit realen Objekten den Ausbauvor- 
gang zu erlautern. Mit Bezug auf kooperative Arbeit ermog- 
licht das AR-gestutzte „Fernauge" eine verteilte Problem- 
losung, indem ein entfernter Experte mit dem Mitarbeiter 
25 vor Ort iiber globale Distanzen hinweg kommuniziert . Dieser 

Fall ist besonders fur die iiberwiegend mittelstandischen 
Werkzeugmaschinenhers teller relevant. Sie sind durch die 
Globalisierung gezwungen, Produktionsstatten ihrer Kunden 
weltweit zu errichten. Jedoch ist eine Prasenz von Nieder- 
30 lassungen in alien wichtigen Markten weder aus wirtschaft- 

lichen Griinden realisierbar , noch kann auf das profunde 
Wissen erfahrener Service-Mi tarbeiter des Stammhauses 
bzgl. der zunehmend komplexer werdenden Anlagen verzichtet 
werden . 

35 Die Besonderheit in der Mensch-Technik-Interaktion bei Aug- 
mented Reality liegt in einer sehr einfachen und intuitiven 
Kommunikation mit dem Computer, beispielsweise erganzt durch 
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multimodale Interaktionstechniken wie Sprachverarbei tung oder 
Gestikerkennung. Die Verwendung von tragbaren Com- 
putereinheiten ermoglicht daruber hinaus vollig neue mobile 
Nutzungsszenarien, wobei die spezif ischen Daten jederzeit 
5 liber ein drahtloses Netz angefordert werden konnen . Neue Vi- 
sualisierungstechniken erlauben eine direkte Annotation, z.B. 
von Me£- oder Simulationsdaten , an das reale Objekt oder in 
die reale Umgebung. In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
10 mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 

augmented environments) oder in yerschiedenen Umgebungen AR- 
gestiitzt zu kooperieren. 

Augmented Reality wird erst seit wenigen Jahren intensiv er- 
forscht. Deshalb finden sich sowohl auf nationaler als auch 
15 internationaler Ebene nur wenige Anwendungen, zumeist in Form 
von wissenschaf tlichen Prototypen bei Forschungseinrich- 
tungen . 

o USA: Wie bei vielen neuen Technologien wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 

20 Nordamerika erschlossen. Beispiele sind die Cockpit- 

gestaltung oder die Wartung von mechatronischen Gera- 
ten. Der Flugzeughersteller Boeing hat bereits erste 
Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternonunen. Ergebnis ist, daS den USA auch in 

25 diesem Hightech-Bereich eine Schliisselstellung zu- 

kommt, die mit einer moglichen Technologief uhrer- 
schaf t einhergeht . 

o Japan: In Japan werden verschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 

30 planung, Teleprasenz oder „ Cyber- Shopping x% . Keimzelle 

ist das 19 97 gegrundete Mixed Reality Systems Labora- 
tory, das als Kompetenzzentrum gemeinsam von Wirt- 
schaft und Wissenschaf t getragen wird. Besondere Im- 
pulse im Konsumguterbereich sind zukunftig durch die 

3 5 japanische Industrie fur Unterhal tungselektronik zu 

erwarten . 
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o Europa : In Europa sind bislang nur sehr wenige For- 
schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universitat Wien befafet sich mit Ansatzen fur die ge- 
mischt-reale Visualisierung . Die Gruppe des IGD hat 
5 im Rahmen des inzwischen ausgelauf enen ACTS-Pro j ektes 

GICC erste Anwendungen fur die Bauindustrie und einen 
wissenschaf tlichen Prototypen zur Mitarbei terschulung 
im Automobilbau entwickelt. 

Die im Erfindung versteht sich insbesondere im speziellen 
10 Kontext der Anwendungsf elder " Produktions- und Werkzeugma- 

schinen" (NC-gesteuerte , automatisierungstechnische Prozesse) 
sowie " Diagnose- / Serviceunters tut zungssysteme fur komplexe 
technische Komponenten/Gerate/Systeme" (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) . 

15 

In komplexen Anlagen mit raumlich verteilten Einzelkomponen- 
ten, aber auch in Anwenduns gs i t ua t i onen wo die Beweglichkeit 
des Werkers wichtig ist stellt die iibliche Verwendung relativ 
starr installierter Systeme (z.B. Monitore, Bedienterminals ) 
20 zur Visualisierung und Bedienung, eine deutliche Einschran- 
kung des Handlungs sp i e 1 r aums dar. 

In der Regel ist der Werker /Facharbeiter si tuationsbedingt 
gezwungen, seine eigentliche Arbeitssi tuation zu verlassen, 
25 urn an anderer Stelle Einblick in die aktuell relevanten Pro- 
zeSdaten zu erhalten oder bestimmte Bedienvorgange vornehmen 
zu konnen. Mit der Verwendung mobiler, tragbarer Gerate las- 
sen sich verschiedene Arbeitssi tuationen benutzergerechter 
bewerkstelligen • 

30 

Gegebenenfalls erfolgt heutzutage der Einsatz mehrerer Moni- 
tore raumlich verteilt in der Anlage oder konzentriert bei- 
spielsweise in einer Leitwarte. 

35 Der Einsatz von bislang relativ starr ins tallierten Systemen 
zur Visualisierung und Bedienung in der Anwendung, wird wie 
folgt ersetzt durch neuartige Gerate, die anwendungsgerecht 
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in Kombination eingesetzt werden : Vor Ort, d.h. lokal an der 
Maschine/Anlagenkomponente, kommen mehrere ff Einf achstgerSte" 
zum Einsatz, die anwendungsgerecht spezialisiert sind. 
Die vollstandige Funktionali tat zur anwendungsumf assenden Vi- 
5 sualisierung und Bedienung, wird mittels leistungsf ahigen Be- 
dieneinheiten, die mobil eingesetzt werden konnen, bereitge- 
stellt. Der wesentliche Vorteil liegt in der Aufhebung der 
Mobilitatseinschrankung des Werkers . Daruber hinaus kommen 
neuartige Interaktionstechn.iken zur Verwendung . . . multimodal 
10 (Sprache, Gestik, . . . ) 

Bindung an fixe Terminals wird durch mobile Ger&te ersetzt 
Ablosung /Erganzung der Maschinentafel durch Datenbrille 
Der kombinierte Einsatz mit lokalen Terminals 

15 

Zusairanen fas send betrifft die Erfindung somit ein Bedien- und 
Beobachtungssystem, insbesondere fur ein Automatisierungssy- 
stem, das aus mindestens einem ersten Bedien- und Beobach- 
tungssystem mit einer leistungsf ahigen Funktionalitat und aus 
2 0 einer Vielzahl weiteren Bedien- und Beobachtungswerkzeug mit 
einer eingeschrankten Funktionalitat gebildet wird. Das erste 
Bedien- und Beobachtungssystem mit der leistungsf ahigen Funk- 
tionalitat ist mobil ausgebildet, wodurch es zu einer Aufhe- 
bung von Mobilitatsbeschrankungen kommt . 



25 
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Patentanspruche 

1. Augmented-Reality-System insbesondere fur eine automati- 
sierungstechnisch gesteuerte Vorrichtung mit mindestens einem 

5 ersten Bedien- und Beobachtungssystem mit einer leistungsfa- 
higen Funkt ionali tat und aus einer Vielzahl weiteren Bedien- 
und Beobachtungswerkzeugen mit einer eingeschrankten Funktio- 
nalitat, wobei das erste Bedien- und Beobachtungssystem mit 
der leistungsf ahigen Funktionalitat mobil ausgebildet ist und 
10 fur eine Erzielung einer vollen Leistungsf ahigkeit zur Kopp- 
lung mit den weiteren Bedien- und Beobachtungswerkzeugen vor- 
gesehen ist . 

2. System nach Anspruch 1, 

15 dadurch gekennzeichnet, 

da£ die mobilen Bedien- und Beobachtungswerkzeuge liber multi- 
modale Interaktionstechniken, insbesondere Sprache und Gestik 
ansteuerbar sind. 

20 3. System nach einem der Anspruche 1 oder 2, 
dadurch gekennzeichnet, 

da£ das System Erf assungsmi ttel (2, 11) mit einer Sensorik, 
insbesondere einer Bildauf nahmevorrichtung zur Erf assung der 
ertsen Inf ormationsdaten sowie Visualisierungsmittel (4) zur 
25 Visualisierung der zweiten Inf ormationsdaten aufweist. 

4. System nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

da£ die Erf assungsmittel (2) anwendergesteuert sind und ins- 
30 besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 

5. System nach einem der Anspruche 1 bis 4, 
35 dadurch gekennzeichnet, 

da£ die mobile Vorrichtung eine Datenbrille (4) aufweist. 
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6. Verfahren zum Bedienen und Beobachten einer automatisie- 
rungstechnisch gesteuerten Vorrichtung mittels Augmented- 
Reality-Techniken, bei dem die automatisierungstechnisch ge- 
5 steuerte Vorrichtung liber ein erstes Bedien- und Beobach- 

tungssystem mit einer leistungsf ahigen Funktionalitat in Kom- 
bination mit einer Vielzahl weiteren Bedien- und Beobach- 
tungswerkzeugen mit einer eingeschr&nkten Funktionalitat 
steuerbar ist, wobei das erste Bedien- und Beobachtungssystem 
10 mit der leistungsf ahigen Funktionalitat mobil ausgebildet ist 
und fur eine Erzielung einer vollen Leistungsf ahigkeit zur 
Kopplung mit den weiteren Bedien- und Beobachtungswerkzeugen 
vorgesehen ist. 

15 7. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, 

date die mobilen Bedien- und Beobachtungswerkzeuge uber multi- 
modale Interaktionstechniken, insbesondere Sprache und Gestik 
ansteuerbar sind. 

20 

8. Verfahren nach einem der Ansprliche 6 oder 1, 
dadurch gekennzeichnet, 

date die ersten Inf ormationsdaten mittels Erf assungsmitteln 
(2, 11) mit einer Sensorik, insbesondere einer Bildauf nahme- 
25 vorrichtung erfatet und da£ die zweiten Inf ormationsdaten mit- 
tels Visualisierungsmitteln (4) dem Anwender (7) visualisiert 
werden . 

9. Verfahren nach einem der Anspriiche 6 bis 8, 
30 dadurch gekennzeichnet, 

date die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 

35 

10. Verfahren nach einem der Anspriiche 6 bis 9, 
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dadurch gekennzeichnet, 

da£ die Erf assungsmi ttel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille ausgebildet sind. 
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